AI 快讯列表关于 Llama 405B
| 时间 | 详情 |
|---|---|
|
2026-01-03 12:47 |
MoE模型与致密模型:开源人工智能中的成本、灵活性与商业机遇
根据推特用户God of Prompt的分析,专家混合(MoE)模型为开源AI带来了比致密模型更大的优势。以Meta的Llama 405B为例,任何修改都需整体重新训练,成本高达5000万美元(来源:God of Prompt,2026年1月3日)。相比之下,DeepSeek发布的V3 MoE模型训练成本仅为560万美元,效果更好,且支持模块化独立微调和功能扩展。对AI企业和开发者而言,MoE架构在开源生态中提供了更低成本、更灵活的创新路径,进一步拉大了与传统致密模型的差距。 |